Vào năm 1996, Carragher có trận đầu tiên ra sân cho đội tuyển U-21 Anh. Chơi ở vị trí tiền vệ thủ, anh trở thành một nhân tố quan trọng trong đội bóng, và còn là đội trưởng. Vào năm 2000, khi anh trở thành không thể thay thế trong đội bóng, anh đạt kỉ lục là người ra sân nhiều nhất ở cấp độ U-21 với 27 lần. Kỉ lục này đã bị phá vỡ vào năm 2007 bởi thủ môn Scott Carson.

Vào ngày 28 tháng 4 năm 1999 anh có lần ra sân đầu tiên cho đội tuyển Anh, khi vào sân từ ghế dự bị trong trận tiếp Hungary. Anh có trận đấu đầu tiên thi đấu đầy đủ 90 phút trong trận tiếp Hà Lan ở sân White Hart Lane vào năm 2001. Carragher lỡ World Cup 2002 vì chấn thương, nhưng tham dự được Euro 2004. Anh sau đó kết thúc giải với không một lần được ra sân. Anh được chọn cho đội tuyển Anh ở World Cup 2006 ở Đức, và không được ra sân chính thức, nhưng được thay vào khi Gary Neville bị dính chấn thương.

Carragher đã từng chơi trung vệ, hậu vệ cánh phải và cánh trái, và cả tiền vệ phòng ngự cho đội tuyển Anh. Mặc dù anh là một nhân tố quan trọng ở cả câu lạc bộ và đội U21 trước đây nhưng anh chưa bao giờ là một cầu thủ quan trọng trong đội hình chính của đội tuyển. Cựu huấn luyện viên tuyển Anh Sven-Göran Eriksson thường sử dụng các trung vệ John Terry, Rio Ferdinand và Sol Campbell thay vì Carragher, và thường sử dụng anh ở vị trí hậu vệ cánh phải thay Gary Neville như anh đã làm ở World Cup 2006.

Vào ngày 1 tháng 7 năm 2006 Carragher là một trong 3 cầu thủ đá hỏng penalty trong trận tiếp Bồ Đào Nha ở tứ kết khiến đội tuyển Anh bị loại. Carragher đã vào sân thay Aaron Lennon ở cuối trận, đá thành công quả đầu tiên nhưng không được tính vì đá khi chưa có hiệu lệnh từ trọng tài, và ở quả thứ 2 thì anh đá hỏng.

Vào ngày 9 tháng 7 năm 2007 có thong tin cho rằng Carragher đã rút khỏi đội đội tuyển Anh. Carragher xác nhận điều này và cho biết anh đang nghĩ đến chuyện từ giã sự nghiệp thi đấu quốc tế, nhưng anh còn cần phải nói chuyện với huấn luyện viên đội tuyển khi đó là Steve McClaren và sẽ rút khỏi đội cho tới trận đấu tiếp theo gặp đội tuyển Đức để quyết định.

Carragher sau đó đã quyết định từ giã sự nghiệp thi đấu quốc tế. McClaren trước đó đã cố gắng thuyết phục anh trở lại đội tuyển, còn người thay thế McClaren sau này là Fabio Capello cho biết ông sẽ rất vui nếu Carragher trở lại đội tuyển. Carragher từ chối và cho biết anh sẽ không bao giờ trở lại đội tuyển nữa. Carragher nói anh không hạnh phúc với việc không được các huấn luyện viên cho đá trung vệ, mà thay vào đó thường để anh trám vào vị trí các hậu vệ cánh hoặc đá như một tiền vệ lùi.